Linux awk命令详解

　　除了使用 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。它诞生于 20 世纪 70 年代末期，这也许是它影响了众多 Linux 用户的原因之一。曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然，此命令的设计者有 3 位，他们的姓分别是 Aho、Weingberger 和 Kernighan，awk 就取自这 3 为大师姓的首字母。awk的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。awk和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。

　　awk 命令的基本格式为：

　　此命令常用的选项以及各自的含义，如下表所示：

 awk 的强大之处在于脚本命令，它由 2 部分组成，分别为匹配规则和执行命令，如下所示：

　　这里的匹配规则，和 sed 命令中的 address 部分作用相同，用来指定脚本命令可以作用到文本内容中的具体行，可以使用字符串（比如 /demo/，表示查看含有 demo 字符串的行）或者正则表达式指定。另外需要注意的是，整个脚本命令是用单引号（''）括起，而其中的执行命令部分需要用大括号（{}）括起来。在 awk 程序执行时，如果没有指定执行命令，则默认会把匹配的行输出；如果不指定匹配规则，则默认匹配文本中所有的行。

　　举个简单的例子：

　　在此命令中，/^$/ 是一个正则表达式，功能是匹配文本中的空白行，同时可以看到，执行命令使用的是 print 命令，此命令会经常使用，它的作用很简单，就是将指定的文本进行输出。因此，整个命令的功能是，如果 test.txt 有 N 个空白行，那么执行此命令会输出 N 个 Blank line。再次说明， awk 对输入文件中的每一行都执行这个脚本。

　　awk的主要特性之一是处理文本文件中数据的能力，它会自动给每一行中的每个数据元素分配一个变量。

　　默认情况下，awk 会将如下变量分配给它在文本行中发现的数据字段(或者叫做域)：

　　前面说过，在 awk 中，默认的字段分隔符是任意的空白字符（例如空格或制表符）。 在文本行中，每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时，会用预定义的字段分隔符划分每个数据字段。所以在下面的例子中，awk 程序读取文本文件，只显示第 1 个数据字段的值：

　　该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然，如果你要读取采用了其他字段分隔符的文件，可以用 -F 选项手动指定。

　　awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令，只要在命令之间放个分号即可，例如：

　　第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到，awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。除此之外，也可以一次一行地输入程序脚本命令，比如说：

　　在你用了表示起始的单引号后，bash shell 会使用 > 来提示输入更多数据，我们可以每次在每行加一条命令，直到输入了结尾的单引号。注意，此例中因为没有在命令行中指定文件名，awk 程序需要用户输入获得数据，因此当运行这个程序的时候，它会一直等着用户输入文本，此时如果要退出程序，只需按下 Ctrl+C 组合键即可。

　　跟 sed 一样，awk 允许将脚本命令存储到文件中，然后再在命令行中引用，比如：

　　awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段（字段变量 $6），以及 userid 数据字段（字段变量 $1）。注意，在程序文件中，也可以指定多条命令，只要一条命令放一行即可，之间不需要用分号。

　　通常，对于每个输入行， awk 都会执行脚本代码块一次。然而，在许多编程情况中，可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字。BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令(BEGIN后面的命令只执行一次)，例如：

　　可以看到，这里的脚本命令中分为 2 个部分，BEGIN 部分的脚本指令会在 awk 命令处理数据前运行，而真正用来处理数据的是第二段脚本命令。

　　和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们，例如：

　　可以看到，当 awk 程序打印完文件内容后，才会执行 END 中的脚本命令。 

　　条件操作符有：0，并且第4个数据字段和/last/正则表达式匹配，就输出该行 ➜ test awk '{if (NR>0 && $4~/last/) print $0}' data2.txt line4:This is the last line 4. #实例4：显示当前目录名 ➜ test echo $PWD /home/baichunyu.bcy/test ➜ test echo $PWD | awk -F / '{print $NF}' test #实例5：修改字段分隔符为\t ➜ test cat test.txt ww CC IDD ➜ test awk 'BEGIN {FS="\t+"} {print $1,$2,$3}' test.txt #把字段分隔符修改为一个或多个制表符 ww CC IDD #实例6：修改字段分隔符的另一种方式 ➜ test cat hello.txt root:x::0 0:root:/root:/bin/bash ➜ test awk -F '[ :/]+' '{print $1,$2,$3,$4} END{print NF}' hello.txt #把字段分隔符修改为1个或多个空格、冒号、斜杠(采用正则表达式) root x 0 0 8 九、awk内置字符串函数 gsub(r，s)　　含义：在整个$0中用s替代r awk 'gsub(/name/，"xiaoming") {print $0}' temp.txt　　# 在temp.txt中把每行中的name替换成xiaoming，并打印该行 gsub(r，s，t)　　含义：在整个t中用s替代r ➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'gsub(/line/,"hang",$5) {print $0}' data2.txt # 在data2.txt文件中，把每行的第5个域中的line替换成hang，如果替换成功则打印该行 line1:This is the header hang 1. line4:This is the last hang 4.  index(s，t)　　含义：返回s中字符串t的第一位置(下标从1开始计算) ➜ test awk 'BEGIN {print index("Sunny","ny")}' temp.txt 4 length(s)　　含义：返回s的长度 match(s，r)　　含义：测试s中是否包含匹配r的字符串 ➜ test awk '$1="J.Lulu" {print match($1,"u")}' temp.txt # 因为temp.txt中有两行，遍历每一行时，都把$1赋值为"J.Lulu"，都包含"u"，因此输出两个4，代表"J.Lulu"中包含"u" 4 4 split(s，a，fs)　　含义：用fs把s分割成序列a ➜ test awk 'BEGIN {print split("12#345#6789",arr,"#");print arr[1];print arr[2];print arr[3]}' temp.txt 3 12 345 6789#上述命令中，print split("12#345#6789"，arr，"#")，输出3，即arr的长度，同时arr[1]="12"， arr[2]="345"， arr[3]="6789"   (该序列下标从1开始计算) ➜ test awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}' 4 1 this 2 is 3 a 4 test#上述命令中，分割字符串到数组tA中，for循环会自动遍历数组，其中k是数组下标，会自动增加。 sprint(fmt，exp)　　含义：返回经fmt格式化后的exp sub(r，s)　　含义：在$0中用s替换第一个r ➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'sub(/line/,"hang") {print $0}' data2.txt # 把每行中第一个line替换成hang，并打印该行 hang1:This is the header line 1. hang2:This is the first data line 2. hang3:This is the second data line 3. hang4:This is the last line 4. substr(str,from,[num])　　含义：从str中截取子串，该子串从from下标开始截取(str下标从1开始)，截取的长度为num，若未指定num参数，则截取到str的末尾 ➜ test awk 'BEGIN{print substr("abcdef",4)}' data2.txt def ➜ test awk 'BEGIN{print substr("abcdef",3,2)}' data2.txt cd tolower(str)、toupper(str)        含义：把str转为小写、把str转为大写 ➜ test awk 'BEGIN{print tolower("abcdefAAA")}' data2.txt abcdefaaa ➜ test awk 'BEGIN{print toupper("abcdefAAA")}' data2.txt ABCDEFAAA

　　awk中while循环语句的格式为：

　　举个简单的例子：